Tại Đại hội sáng lập Đảng Cộng sản Trung Quốc năm 1921 ở Thượng Hải, Trương Quốc Đào được bầu vào Trung ương Cục (中央局) [1], phụ trách công tác tổ chức.

Sau đại hội, Trương Quốc Đào giữ chức Tổng thư ký Liên đoàn Lao động Trung Quốc. Ông đã lãnh đạo một số cuộc đình công lớn của đường sắt và công nhân dệt may. Tại Đại hội lần II Đảng Cộng sản Trung Quốc (1922) ở Thượng Hải, Trương Quốc Đào được bầu vào Ban Chấp hành Trung ương (中央执行委员会, Trung ương Chấp hành Ủy viên Hội) [2]. Năm 1924, theo chính sách của liên minh giữa Quốc Dân Đảng và Cộng sản, Trương Quốc Đào tham dự Đại hội Quốc Dân Đảng và được bầu làm Ủy viên dự khuyết Ban Chấp hành Trung ương. Tại Đại hội IV Đảng Cộng sản Trung Quốc (1925) ở Thượng Hải, Trương Quốc Đào được bầu vào Trung ương Cục [3]

Năm 1926 ông được cử làm Bí thư tỉnh ủy Hồ Bắc. Tại Đại hội V Đảng Cộng sản Trung Quốc(1927) tổ chức ở Hán Khẩu Trượng Quốc Đào được bầu vào Bộ Chính trị (政治局, Chính trị Cục). Tại Đại hội VI Đảng Cộng sản Trung Quốc (1928) ở Moskva, Trương Quốc Đào được bầu vào Bộ Chính trị và là đại biểu của Đảng Cộng sản Trung Quốc tại Quốc tế Cộng sản.